[新機能] Amazon SageMaker Data and AI Governance を発表しました #AWSreInvent

AWS事業本部コンサルティング部の石川です。Amazon SageMaker Data and AI Governanceは、データレイクハウス、AIモデル、アプリケーション全体にわたるデータとAIの発見、ガバナンス、コラボレーションを簡素化する新機能です。この機能は、組織がデータとAIアセットを効果的に管理して、活用するための包括的なソリューションを提供します。

https://aws.amazon.com/jp/about-aws/whats-new/2024/12/amazon-sagemaker-data-ai-governance/

Amazon SageMaker Data and AI Governanceとは

従来のアナリティクス関連サービスは、Amazon SageMaker Unified Studio（プレビュー）という統合環境にまとめられ、Amazon SageMaker platformと呼ばれるようになります。一方、AI/MLのサービスであるこれまでのAmazon SageMaker は、Amazon SageMaker AIと呼ばれるようになります。

Amazon SageMaker Data and AI Governanceは、Amazon DataZoneを基盤として構築された機能で、エンジニア、データサイエンティスト、アナリストが承認されたデータとモデルを安全に発見し、アクセスすることを可能にします。生成AIによって作成されたメタデータを使用したセマンティック検索を通じて、ユーザーは必要なリソースを効率的に見つけることができます。

Amazon SageMaker Data and AI Governanceの特長

データとAIの発見とコラボレーションの加速

• 生成AIを使用したメタデータの自動エンリッチメント
• テーブル名、列名、ビジネス用語集による簡単なフィルタリング
• データセットごとの価値のある列や関連する分析アプリケーションの自動推奨

信頼性と透明性の確立

• リアルタイムのデータ品質可視化
• データとMLのリネージ追跡
• バイアス検出のためのモデルモニタリング

データとAIのセキュリティ強化

• きめ細かなアクセス制御
• データ分類とガードレール
• AWS Comprehendを使用した機密情報の自動識別

ビジネスリスクの軽減やコンプライアンスの向上

• データ使用量とモデルのログ記録とモニタリング
• プロジェクトベースの分離によるアセットの適切な使用
• Amazon SageMaker Clarifyを使用したモデルのバイアス、精度、堅牢性のモニタリング

包括的なソリューション

データカタログ

ビジネスコンテキストを技術メタデータに追加し、ユーザーがデータを迅速に見つけ、理解し、信頼できるようにします。

自動メタデータ推奨

大規模言語モデル（LLM）を使用して、データにビジネス記述と名前を自動的に追加します。

AIセーフティ

Amazon Bedrock guardrailsを使用して、ユーザー入力とFMレスポンスをユースケース固有のポリシーに基づいて評価します。

モデル監査とトラッキング

すべてのモデル、エンドポイント、モデルモニタリングジョブの統合ビューを提供し、自動アラートで予期しない動作を追跡します。

データ品質

AWSまたはサードパーティシステムからのデータ品質メトリクスを表示し、データ消費者が信頼できるソースを使用できるようにします。

データとMLのリネージ

データとモデルの移動を時間の経過とともに理解し、トラブルシューティングとパイプライン開発を支援します。

まとめ

Amazon SageMaker Data and AI Governanceは、組織がデータとAIアセットを効果的に管理し、活用するための包括的なソリューションです。この機能により、データの発見とコラボレーションが加速され、信頼性と透明性が向上し、セキュリティが強化されます。さらに、ビジネスリスクの軽減やコンプライアンスの向上にも貢献します。適切に設定・活用することで、組織はデータとAIの力を最大限に引き出し、より十分な情報に基づく意思決定を行うことができるでしょう。

合わせて読みたい

https://dev.classmethod.jp/articles/amazon-sagemaker-lakehouse-reinvent2024/